技術 Day23 - vLLM實作篇PART2：模型平行化 / 預測推理 / 其他設定

前言 昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...

技術 Day11 - 沒有什麼是一個GPU不能解決的......Model Parallelization

前言 這一章將介紹LLM在GPU上平行化使用的方法，這章內容比較少，但標題很長XD 如果運算上有什麼資源不夠的，沒有什麼是一個GPU不能解決的，如果有的話，那...